使用无法回答的问题的机器阅读理解是一项艰巨的NLP任务,受到无法从段落回答的问题的挑战。据观察,微妙的文字变化通常使一个可回答的问题无法回答,但是,大多数MRC模型无法识别此类变化。为了解决这个问题,在本文中,我们提出了一种基于跨度的对比度学习方法(SPANCL),该方法在答案跨度上明确将可回答的问题与他们的回答和无法回答的对应物进行了明确的对比。使用SPANCL,MRC模型被迫从微小的字面差异中感知至关重要的语义变化。小队2.0数据集的实验表明,SPANCL可以显着改善基准,从而产生0.86-2.14绝对EM的改进。其他实验还表明,Spancl是利用生成问题的有效方法。
translated by 谷歌翻译
Recently, massive architectures based on Convolutional Neural Network (CNN) and self-attention mechanisms have become necessary for audio classification. While these techniques are state-of-the-art, these works' effectiveness can only be guaranteed with huge computational costs and parameters, large amounts of data augmentation, transfer from large datasets and some other tricks. By utilizing the lightweight nature of audio, we propose an efficient network structure called Paired Inverse Pyramid Structure (PIP) and a network called Paired Inverse Pyramid Structure MLP Network (PIPMN). The PIPMN reaches 96\% of Environmental Sound Classification (ESC) accuracy on the UrbanSound8K dataset and 93.2\% of Music Genre Classification (MGC) on the GTAZN dataset, with only 1 million parameters. Both of the results are achieved without data augmentation or model transfer. Public code is available at: https://github.com/JNAIC/PIPMN
translated by 谷歌翻译
深度学习已被广泛用于解决电阻抗断层扫描(EIT)图像重建问题。大多数现有的基于物理模型和基于学习的方法都集中在2D EIT图像重建上。但是,当它们直接扩展到3D域时,几乎不能保证在图像质量和噪声稳健性方面的重建性能主要是由于维度的显着增加。本文提出了一种基于学习的3D EIT图像重建方法,该方法被称为神经元网络(TN-NET)的转置卷积。模拟和实验结果表明,与流行的3D EIT图像重建算法相比,TN-NET的性能和概括能力出色。
translated by 谷歌翻译
被遮挡的人重新识别(RE-ID)旨在解决跨多个摄像机感兴趣的人时解决遮挡问题。随着深度学习技术的促进和对智能视频监视的需求的不断增长,现实世界应用中的频繁闭塞使闭塞的人重新引起了研究人员的极大兴趣。已经提出了大量封闭的人重新ID方法,而很少有针对遮挡的调查。为了填补这一空白并有助于提高未来的研究,本文提供了对封闭者重新ID的系统调查。通过对人体闭塞的深入分析,发现大多数现有方法仅考虑一部分闭塞问题。因此,我们从问题和解决方案的角度回顾了与闭塞相关的人重新ID方法。我们总结了个人重新闭塞引起的四个问题,即位置错位,规模错位,嘈杂的信息和缺失的信息。然后对解决不同问题的闭塞相关方法进行分类和引入。之后,我们总结并比较了四个流行数据集上最近被遮挡的人重新ID方法的性能:部分reid,部分易边,咬合 - 固定和遮挡的dukemtmc。最后,我们提供了有关有希望的未来研究方向的见解。
translated by 谷歌翻译
现有的神经结构搜索算法主要在具有短距离连接的搜索空间上。我们争辩说,这种设计虽然安全稳定,障碍搜索算法从探索更复杂的情景。在本文中,我们在具有长距离连接的复杂搜索空间上构建搜索算法,并显示现有的权重共享搜索算法由于存在\ TextBF {交织连接}而大部分失败。基于观察,我们介绍了一个名为\ textbf {if-nas}的简单且有效的算法,在那里我们在搜索过程中执行定期采样策略来构建不同的子网,避免在任何中的交织连接出现。在所提出的搜索空间中,IF-NAS优于随机采样和先前的重量共享搜索算法,通过显着的余量。 IF-NAS还推广到微单元的空间,这些空间更容易。我们的研究强调了宏观结构的重要性,我们期待沿着这个方向进一步努力。
translated by 谷歌翻译
移动和金融技术的繁荣已经为更广泛的人们培育和扩展了各种金融产品,这有助于倡导金融包容。它具有递减金融不平等的非琐碎的社会效益。然而,由独特的特征分布和新用户的信用史有限造成的个人金融风险评估的技术挑战,以及新用户的缺乏经验,在处理复杂数据和获得准确的标签方面,妨碍了进一步推动金融包容性。为了解决这些挑战,本文开发了一种新颖的转移学习算法(即转换),其结合了基于树的模型和内核方法的优点。 Transpoost设计具有平行树结构和有效的重量更新机制,具有理论上的保证,使其能够以$ O(n)$时间复杂度的高维特征和稀疏性在解决现实世界数据中。我们对两个公共数据集进行了广泛的实验,以及腾讯移动支付的独特大规模数据集。结果表明,在具有卓越效率的预测精度方面,转换越野越优于其他最先进的基准传输学习算法,表现出对数据稀疏性的更强的鲁棒性,并提供有意义的模型解释。此外,鉴于财务风险等级,转博稳定使金融服务提供商能够满足最多的用户,包括其他算法。也就是说,转船改善了金融包容性。
translated by 谷歌翻译
在本文中,我们提出了一种自我监督的视觉表示学习方法,涉及生成和鉴别性代理,我们通过要求目标网络基于中级特征来恢复原始图像来专注于前者部分。与事先工作不同,主要侧重于原始和生成的图像之间的像素级相似性,我们提倡语义感知生成(Sage)以促进更丰富的语义,而不是在所生成的图像中保留的细节。实现SAGE的核心概念是使用评估者,一个在没有标签的情况下预先培训的深网络,用于提取语义感知功能。 Sage与特定于观点的功能补充了目标网络,从而减轻了密集数据增强所带来的语义劣化。我们在ImageNet-1K上执行Sage,并在包括最近的邻居测试,线性分类和细小图像识别的五个下游任务中评估预训练模型,展示了其学习更强大的视觉表示的能力。
translated by 谷歌翻译
本文介绍了电力网络的问题,可以为应用多功能增强学习(Marl)创造一个令人兴奋和挑战的现实情景。脱碳的新出现趋势在配电网络上放置过大的压力。主动电压控制被视为有希望的解决方案,以减轻电力拥塞和改善电压质量,无需额外的硬件投资,利用网络中的可控装置,例如屋顶光伏(PVS)和静态VAR补偿器(SVC)。这些可控设备出现在大量广大数字中,并分布在宽的地理区域中,使Marl成为自然候选者。本文在DEC-POMDP框架中制定了主动电压控制问题,并建立了开源环境。它旨在弥合电力社区与马尔社区之间的差距,并成为马尔算法实际应用的驱动力。最后,我们分析了主动电压控制问题的特殊特征,导致最先进的Marl方法挑战,并总结了潜在的方向。
translated by 谷歌翻译
对抗商业黑匣子语音平台的对抗攻击,包括云语音API和语音控制设备,直到近年来接受了很少的关注。目前的“黑匣子”攻击所有严重依赖于预测/置信度评分的知识,以加工有效的对抗示例,这可以通过服务提供商直观地捍卫,而不返回这些消息。在本文中,我们提出了在更实用和严格的情况下提出了两种新的对抗攻击。对于商业云演讲API,我们提出了一个决定的黑匣子逆势攻击,这些攻击是唯一的最终决定。在偶变中,我们将决策的AE发电作为一个不连续的大规模全局优化问题,并通过自适应地将该复杂问题自适应地分解成一组子问题并协同优化每个问题来解决它。我们的春天是一种齐全的所有方法,它在一个广泛的流行语音和扬声器识别API,包括谷歌,阿里巴巴,微软,腾讯,达到100%的攻击攻击速度100%的攻击率。 iflytek,和景东,表现出最先进的黑箱攻击。对于商业语音控制设备,我们提出了Ni-Occam,第一个非交互式物理对手攻击,而对手不需要查询Oracle并且无法访问其内部信息和培训数据。我们将对抗性攻击与模型反演攻击相结合,从而产生具有高可转换性的物理有效的音频AE,而无需与目标设备的任何交互。我们的实验结果表明,NI-Occam可以成功欺骗苹果Siri,Microsoft Cortana,Google Assistant,Iflytek和Amazon Echo,平均SRO为52%和SNR为9.65dB,对抗语音控制设备的非交互式物理攻击。
translated by 谷歌翻译
Value factorisation is a useful technique for multi-agent reinforcement learning (MARL) in global reward game, however its underlying mechanism is not yet fully understood. This paper studies a theoretical framework for value factorisation with interpretability via Shapley value theory. We generalise Shapley value to Markov convex game called Markov Shapley value (MSV) and apply it as a value factorisation method in global reward game, which is obtained by the equivalence between the two games. Based on the properties of MSV, we derive Shapley-Bellman optimality equation (SBOE) to evaluate the optimal MSV, which corresponds to an optimal joint deterministic policy. Furthermore, we propose Shapley-Bellman operator (SBO) that is proved to solve SBOE. With a stochastic approximation and some transformations, a new MARL algorithm called Shapley Q-learning (SHAQ) is established, the implementation of which is guided by the theoretical results of SBO and MSV. We also discuss the relationship between SHAQ and relevant value factorisation methods. In the experiments, SHAQ exhibits not only superior performances on all tasks but also the interpretability that agrees with the theoretical analysis. The implementation of this paper is on https://github.com/hsvgbkhgbv/shapley-q-learning.
translated by 谷歌翻译